Fase de Entendimiento del negocio¶
Objetivos del negocio¶
- Facilitar el pronóstico de cuentas que pueden ser incobrables a un largo plazo para poder establecer un arreglo de pago para realizar una liquidación adecuada de la cuenta.
- Poder ofrecer una herramienta para el diseño robusto de campañas de cobro de carteras de crédito, las cuales pueden estar conformadas con cuentas que pueden ser incobrables.
Criterios de éxito en términos de negocio¶
- Lograr la identificación exitosa de cuentas que pueden ser incobrables para una entidad financiera, reduciendo la cantidad de cuentas incobrables al menos en 30% de acuerdo a los datos históricos de la entidad financiero.
- Mostrar a las entidades financieros cuales son los atributos de los clientes que lo puede llevar a ser una cuenta incobrable para poder facilitar la estadística descriptiva de la entidad financiera.
Objetivos de minería de datos¶
Identificar por medio de modelos de predicción potenciales cuentas que puedan ser incobrables en un futuro, para ofrecer una liquidación por medio de un arreglo de pago.
Identificar cuales son los atributos que más influyen para determinar si una cuenta se le debe realizar la oferta de liquidación debido a que es catalogada como incobrabl
Criterios de éxito para la minería de datos¶
Obtener al menos un modelo que presente un accuracy (métrica de precisión para exactitud) mayor a un 70% con la utilización de datos externos a los utilizados en el entrenamiento.
Optimizar con diferentes parámetros al menos tres modelos utilizados para la predicción en la categoría de clasificación binaria.
Fase de Entendimiento de los datos¶
Información del conjunto de datos¶
- Lista de conjuntos de datos requerido
- Bases de datos PostgreSQL de cuentas de carteras de crédito.
- Método de acceso
- Query de SQL para una base de datos que contiene información de carteras de crédito.
- Ubicación de los datasets:
- La ubicación de la base de datos, es confidencial debido a la naturaleza de los datos.
Descripción de los datos¶
Información del conjunto de datos¶
El conjunto de datos es sobre información de campaña de recoleccion de dineros de cuentas en mora, es la información sobre clientes contactados, con una oferta concreta para cerrar su cuenta en mora por un monto inferior al actual.
El conjunto de datos esta separado por dos archivos CSV, los cuales vamos a unir
import pandas as pd
import matplotlib.pyplot as plt
df1 = pd.read_csv('proyectoF1T.csv')
df2 = pd.read_csv('proyectoF2F.csv')
print(df1.shape)
df1.head()
Se realiza la unión de los dos datasets¶
Por lo cual se puede ver la cantidad de registros y columnas.
Cantidad Registros: 6095
Cantidad de columnas: 31
df1 = df1.append(df2)
df2 = None
print(df1.shape)
Se observan las variables del dataset¶
df1.columns
Explicación de las columnas¶
- id
- Id de cada fila.
- merchant_id
- Id para cada comerciante.
- last_payment_amount
- La cantidad del último pago realizado.
- birth_dt
- Fecha de cumpleaños de cada cliente
- redeem_ts
- Personas a las cuales se les debe ofrecer la oferta de liquidación, fecha que se hizo.
- account_payment_method
- Forma de pago configurada para la cuenta.
- approval_amount
- Monto aprobado del préstamo.
- scheduled_payment_amt
- Monto de la cuota configurada para el préstamo.
- days_past_due
- Días en que acumula en mora la cuenta.
- past_due_amt
- Monto que se encuentra en atraso para la cuenta.
- zip_code
- Código postal del cliente al cual le pertenece la cuenta.
- age
- Edad del cliente de la cuenta.
- city
- Ciudad de domicilio del cliente.
- sms_contacted_ts
- Fecha en que se le contactó por medio de mensaje de texto al celular.
- state
- Estado de domicilio de la persona de la cuenta.
- years_at_current_residence
- Años viviendo en la actual residencia.
- months_at_current_residence
- Meses viviendo en la actual residencia.
- source
- Fuente desde donde se genero el préstamo (Internet, Agencia, etc).
- collections_category
- Columna no especificamente descripta.
- email_contacted_ts
- Fecha en que se le contactó por medio de correo electrónico.
- payment_frequency
- Frecuencia de pago de la cuenta.
- number_of_payments
- Cantidad de pagos necesarios para cancelar la cuenta.
- rent_or_own
- Es propietario de vivienda o renta.
- initial_decision
- Decisión inicial al crear la cuenta (Aprobación o Denegar).
- language_preference
- Lenguaje en que prefiere el cliente ser contactado (Español o Inglés).
- contacted
- Si se logró contactar anteriormente.
- data_correction
- Si se tuvo que corregir los datos del cliente en algún momento (True, False).
- black_listed
- Si en algún momento el cliente fue incluido en lista negra por fraude.
- direct_deposit
- Si la el préstamo está configurado para recibir los pagos de forma automática por depósito.
- recommendation
- Recomendación que se señaló al formalizar la cuenta (Aprobar o Denegar).
- military_applicant
- Si el cliente es veterano o actualmente miembro de la fuerza militar.
Tipos de datos¶
id int64
approval_amount float64
recommendation string
redeem_ts date
contacted bool
email_contacted_ts date
sms_contacted_ts date
birth_dt date
state string
city string
zip_code int64
rent_or_own string
months_at_current_residence int64
years_at_current_residence int64
direct_deposit bool
black_listed bool
language_preference string
military_applicant bool
payment_frequency string
scheduled_payment_amt float64
past_due_amt float64
account_payment_method string
collections_category string
days_past_due int64
number_of_payments int64
amount_financed float64
data_correction bool
merchant_id int64
source string
initial_decision string
last_payment_amount float64Datos generales del conjunto de datos¶
df1.describe()
Por medio del describe se nos muestra un summary de cuartiles, cantidad de registros,la media y desviación estandar
Exploración de los datos y verificación de datos¶
Para esta sección se aplicaran ambos casos, aunque también se ha aplicado exploración de los datos en la sección anterior.
Analisis de variables nulas¶
En la siguiente sección se evaluara la cantidad de nulos, esta cantidad sera mostrada por medio del porcentaje de nulos para cada columna.
df1.isna().mean().round(4)
Se puede observar existe varias columnas que contienen un alto porcentaje de nulos, por lo cual en la siguiente fase seran evaluadas.
Análisis para conversión de datos¶
Algunas variables presentan valores nulos, que en una representación binaria serian de un valor cero y si contienen datos serian un valor 1.
sms_contacted_ts
Esta columna aplica para los nulos equivalen a personas que no fueron contactadas por SMS, esta información si es importante para nuestro análisis, en la siguiente fase remplazaremos estos valores por valores booleanos para identificar las personas contactadas por este medio.
emal_contacted
Esta columna aplica para los nulos equivalen a personas que no fueron contactadas por email, esta información si es importante para nuestro análisis, en la siguiente fase remplazaremos estos valores por valores booleanos para identificar las personas contactadas por este medio.
redeem_ts
Un caso muy similar a las otra columnas donde los valores nulos serian personas que no se le presentaron oferta, y las instancias con valores de fecha serian las personas que si se le presentaron una oferta.
direct_deposit
Columna Booleana que indica si se hizo un depósito directo, para el caso de los valores nulos que se encuentran seran tomados como falsos.
Fase de Preparación de los datos¶
Limpieza de los datos y selección de datos¶
Durante esta sección veremos algunos datos descartados y limpieza de valores nulos.
Realizamos la conversión de datos nulos¶
Como se menciona anteriormente tratamos las variables con valores nulos que pueden ser interpretados como booleanos.
df1.loc[~df1.email_contacted_ts.isnull(),"email_contacted_ts"]=True
df1.loc[~df1.sms_contacted_ts.isnull(),"sms_contacted_ts"]=True
df1.loc[~df1.direct_deposit.isnull(),"direct_deposit"]=True
df1.loc[~df1.redeem_ts.isnull(),"redeem_ts"]=True
df1["email_contacted_ts"].fillna(False, inplace = True)
df1["sms_contacted_ts"].fillna(False, inplace = True)
df1["direct_deposit"].fillna(False, inplace = True)
df1["redeem_ts"].fillna(False, inplace = True)
df1.head()
Nuevamente se vuelve a comprobar los valores que son nulos.
df1.isna().mean().round(4)
Eliminación de columnas y filas que contengan datos nulos¶
En este proceso se realiza la primera escogencia de datos.
Al observar las siguientes columnas que contienen una gran cantidad de nulos seran borradas:
collections_category
amount_financed
last_payment_amount
Por otra parte se decide borrar un porcentaje pequeño de filas equivalente al 0.0003,
pertenecientes a valores nulos
df1 = df1.drop(columns=['collections_category','amount_financed','last_payment_amount'])
df1.shape
Se borran el 0.0003 de filas pertenecientes a valores nulos de city
df1 = df1.dropna()
df1.shape
Volvemos a observar el porcentaje de nulos¶
df1.isna().mean().round(4)
Por lo tanto en este momento el dataset queda sin valores nulos
Se borran columnas que son que algún tipo de ID¶
Dichas columnas no presentan valor para los algoritmos de clasificación, que contienen un ID unico para cada columna
df1 = df1.drop(columns=['merchant_id','id'])
df1.shape
Por lo tanto se han descartado u total de 5 variables y borrado todo los datos nulos.
Conclusión de preselección y limpieza de datos¶
Al terminar esta sección de limpieza de datos se identifican variables con alto porcentaje de datos nulos donde es mejor eliminarlas ya que possen mas de un 40% de valores nulos.
Por otra parte existen columnas que son ID para cada fila, estas columnas tambien son borradas ya que no presenta un valor para los algoritmos de machine learning.
Transformaciones aplicadas a los datos¶
Transformación de datos categóricos con un ordinal encoder¶
Para probar el random forest para detectar las variables mas importantes, tranfomaremos las variables categóricas de forma ordinal, ya que los desicion trees no se ven tan afectados por datos categóricos que son transformados por esta forma.
Los datos categoricos a transformar son:
redeem_ts
contacted
email_contacted_ts
sms_contacted_ts
state
city
payment_frequency
rent_or_own
account_payment_method
data_correction
source
initial_decision
direct_deposit
language_preference
recomendation
military_applicant
black_listed
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import OrdinalEncoder
encoder = OrdinalEncoder()
df1.redeem_ts = encoder.fit_transform(df1.redeem_ts.values.reshape(-1, 1))
df1.contacted = encoder.fit_transform(df1.contacted.values.reshape(-1, 1))
df1.email_contacted_ts = encoder.fit_transform(df1.email_contacted_ts.values.reshape(-1, 1))
df1.sms_contacted_ts = encoder.fit_transform(df1.sms_contacted_ts.values.reshape(-1, 1))
df1.state = encoder.fit_transform(df1.state.values.reshape(-1, 1))
df1.city = encoder.fit_transform(df1.city.values.reshape(-1, 1))
df1.payment_frequency = encoder.fit_transform(df1.payment_frequency.values.reshape(-1, 1))
df1.rent_or_own = encoder.fit_transform(df1.rent_or_own.values.reshape(-1, 1))
df1.account_payment_method = encoder.fit_transform(df1.account_payment_method.values.reshape(-1, 1))
df1.data_correction = encoder.fit_transform(df1.data_correction.values.reshape(-1, 1))
df1.source = encoder.fit_transform(df1.source.values.reshape(-1, 1))
df1.initial_decision = encoder.fit_transform(df1.initial_decision.values.reshape(-1, 1))
df1.direct_deposit = encoder.fit_transform(df1.direct_deposit.values.reshape(-1, 1))
df1.language_preference = encoder.fit_transform(df1.language_preference.values.reshape(-1, 1))
df1.recommendation = encoder.fit_transform(df1.recommendation.values.reshape(-1, 1))
df1.military_applicant = encoder.fit_transform(df1.military_applicant.values.reshape(-1, 1))
df1.black_listed = encoder.fit_transform(df1.black_listed.values.reshape(-1, 1))
df1.head()
Construcción de nuevos datos (atributos)¶
Para este caso vamos a construir una nueva variable age, apartir de la variable birth_dt, por lo tanto seria un nuevo atributo.
now = pd.Timestamp('now')
df1['birth_dt'] = pd.to_datetime(df1['birth_dt'])
df1['age'] = (now - df1['birth_dt']).astype('<m8[Y]')
df1 = df1.drop(columns=['birth_dt'])
df1.age.head()
Selección de los datos¶
Para la selección final de datos vamos a aplicar un random forest el cual no permite escoger por medio de un nivel de importancia los atributos que mas no favorecen a la hora entrenar los algoritmos de predicción
Balanceo de datos¶
En nuestro caso la columna redeem_ts viene siendo nuestro label para aplicar la clasificación, por lo tanto se realiza un balance entre cuendo se realizo oferta y no se realizo oferta.
Se convierte la columna redeem_ts en one hot coding
redeem = df1[(df1['redeem_ts'] == 1)]
noRedeem = df1[(df1['redeem_ts'] == 0)]
print(redeem.shape,noRedeem.shape)
Al observar los datos se puede ver que existen más datos de no oferta a oferta, por lo cual se escogen 2595 filas de no oferta para realizar un correcto balance
dfBalanceado = pd.concat([redeem,noRedeem.sample(redeem.shape[0])])
Probamos la extracción de los variables mas importantes utilizando el random forest¶
Se separan los features y labels
labels = df1['redeem_ts']
features = df1.drop(columns=['redeem_ts'])
Se separan los datos de entrenamiento para el random forest
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(features,labels,test_size=0.15,random_state=13)
Se presenta una configuración recomenda para dicha tarea, mas adelante en la fase de modelado se aplicara una mejor escogencia de parámetros para este mismo algoritmo.
from sklearn.ensemble import RandomForestClassifier
RandomForestModel = RandomForestClassifier(min_samples_leaf=3,min_samples_split=20,n_estimators=500, max_depth= None, random_state=10)
RandomForestModel.fit(X_train, y_train)
Realizamos el análisis para obtener las variables mas importantes¶
importances = pd.DataFrame({'feature' :features.columns, 'importance':RandomForestModel.feature_importances_})
importances = importances.sort_values('importance', ascending = False).set_index('feature')
importances
Por lo tanto de acuerdo al análisis del random forest se puede observar que los datos mas impotantes que presentan al menos un 1% del total de importancia:
importances.index[:16]
Antes de selecionar estos datos, como hemos realizado la limpieza de datos vamos a realizar un graficación de los datos, cabe destacar que este apartado también pertenece a la sección entendimiento de los datos y exploración de los datos, con la graficación podemos enteder mejor las variables.
Graficación de columnas por medio de histogramas¶
La siguiente función es utilizada para graficar los histogramas de cada columna
def plotHistrogram(features):
for i in features:
print("Columna a graficar: ",i)
classes = pd.value_counts(dfBalanceado[i][dfBalanceado.redeem_ts == 1], sort = True)
classes.plot(kind = 'bar', rot=0)
plt.title("Se realizo Oferta")
plt.xlabel(i)
plt.ylabel("Frequency")
plt.show()
classes = pd.value_counts(dfBalanceado[i][dfBalanceado.redeem_ts == 0], sort = True)
classes.plot(kind = 'bar', rot=0)
plt.title("No se realizo oferta")
plt.xlabel(i)
plt.ylabel("Frequency")
plt.show()
Algunos gráficos no se podran enterder muy bien debido a la naturaliza de los datos.
plotHistrogram(importances.index)
Analisis de los gráficos¶
Existen columnas o variables del dataset que son difíciles de apreciar por medio de estos gráficos, sin embargo analizaremos los mas destacados.
Se analizara la distribución entre las cuentas que se les ofrecio una oferta y no las que no se les ofrecio, asi como su distribución. Por ejemplo:
- account_payment_method: presenta datos balanceados con respecto a la oferta y no oferta, sin embargo sus atributos no se encuentran muy balanceados.
- sms_contacted_ts: presenta un buen balance con respecto a oferta y no oferta, sin embargo presenta un desbalance con respecto al atributo 0.
- years_at_current_residence y months_at_current_residence: presentan una muy buena distribución entre los datos de cada mes y dia, con respecto a oferta y no oferta, sin embargo se puede observar que sus primeros atributos presenta una gran distribución con respecto a los otros atributos.
- Source: otra variable que presenta una muy buena distribución con respecto a oferta y no oferta, sin embargo el atributo 2 es el que presenta mas influenciado.
- email_contacted: presenta buena distribución, sin embargo el atributo 1 es el que presenta mayor influencia.
- payment_frequency: presenta una buenas distrubución, donde los atributos 0,1 y 4 presenta mayor influencia.
- number_of_payments: presenta una buena distribución, sin embargo el atributo 52 es mas influyente en no oferta en la distribución, Los atributos mas influyentes son 26 y 52
- rent_own: presenta muy buena distribución, donde el atributo 0 es más influyente.
- initial_decision: presenta una distrución buena entre oferta y no oferta, sin embargo el atributo 0 es muy dominante, por lo cual no seria una buena variable para clasificación.
- language_preference: presenta una buena distribución entre oferta y no oferta, sin el atributo 0 es muy dominante, no es una buena variable para clasificación.
- contacted: muy similar a variable anterior.
- data_correction: presente buena distribución entre oferta y no oferta, sin embargo el atributo 1 no se utiliza.
- black_listed: muy similar a variable anterior.
- direct_deposit: muy similar a variable anterior.
- recommendation: muy similar a variable anterior.
- military_applicant: muy similar a variable anterior.
Graficación de columnas por medio de puntos de disperción¶
import matplotlib.pyplot as plt
%matplotlib inline
plt.style.use('ggplot')
Funciones para graficar dos variables, permitiendo observar la relación que existen entre ellas, por limitante de los datos algunos gráficos no se podran ver bien.
def plotPoints(data,indexT,indexF,xName,yName):
X = np.array(data[[xName,yName]])
redeem = X[indexT]
noRedeem = X[indexF]
plt.scatter([s[0] for s in redeem], [s[1] for s in redeem], s = 25, color = 'red', edgecolor = 'k')
plt.scatter([s[0] for s in noRedeem], [s[1] for s in noRedeem], s = 25, color = 'cyan', edgecolor = 'k')
plt.xlabel(xName)
plt.ylabel(yName)
plt.show()
plotted = list()
def plotRelationsWithColumns(data,indexT,indexF):
columns = data.columns
for i in columns:
plotted.append(i)
for k in columns:
if (i != k and k not in plotted ):
print("Variables:",k,i)
plotPoints(data,indexT,indexF[:len(indexT)],i,k)
import numpy as np
redeem_true_indexSecond = np.where(dfBalanceado['redeem_ts']==1)[0]
redeem_false_indexSecond = np.where(dfBalanceado['redeem_ts']==0)[0]
plotRelationsWithColumns(features,redeem_true_indexSecond,redeem_false_indexSecond)
Analisis de los gráficos¶
Por medio de las siguientes gráficos podemos observar que las siguientes variables presentan mayor cantidad de dispersión.
- 'state', 'approval_amount'
- 'city', 'approval_amount'
- 'months_at_current_residence', 'approval_amount'
- 'scheduled_payment_amt', 'approval_amount'
- 'account_payment_method', 'approval_amount'
- 'age', 'approval_amount'
- 'city', 'state'
- 'months_at_current_residence', 'state'
- 'years_at_current_residence', 'state'
- 'scheduled_payment_amt', 'state'
- 'account_payment_method', 'state'
- 'age', 'state'
- 'months_at_current_residence', 'city'
- 'scheduled_payment_amt', 'city'
- 'account_payment_method', 'city'
- 'age', 'city'
- 'city', 'zip_code'
- 'scheduled_payment_amt', 'zip_code'
- 'age', 'zip_code'
- 'scheduled_payment_amt', 'months_at_current_residence'
- 'scheduled_payment_amt', 'years_at_current_residence'
- 'account_payment_method', 'years_at_current_residence'
- 'age', 'scheduled_payment_amt'
- 'scheduled_payment_amt', 'account_payment_method'
- 'age', 'account_payment_method'
- 'months_at_current_residence', 'age'
Por lo tanto de acorde a los datos que interpretamos con el random forest y estos graficos podemos entender que las variables mas importantes son las siguientes:
- account_payment_method
- approval_amount
- scheduled_payment_amt
- days_past_due
- past_due_amt - -
- age
- zip_code
- city
- sms_contacted_ts
- state
- years_at_current_residence
- months_at_current_residence
- source
- email_contacted_ts
- payment_frequency
- number_of_payments
Por lo cual guardaremos las variables que se han escogido, recordar que en este momento se cumplen varios objectivos de la fase del entendimiento del negocio, donde se presentan varios atributos importantes para evaluar las cuentas de crédito.
newFeatures = features[["account_payment_method","approval_amount","scheduled_payment_amt","days_past_due","past_due_amt" ,"age","zip_code","city","sms_contacted_ts","state","years_at_current_residence","months_at_current_residence","source","email_contacted_ts","payment_frequency","number_of_payments"]]
newFeatures['redeem_ts'] = labels
newFeatures.to_csv("DatosEscogidos.csv")
En caso de datos categóricos con one hot encoding, utilizamos el siguiente algoritmo:
MLPDfp2 = pd.get_dummies(newFeatures)
newFeatures.to_csv("df_normalized.csv")
Fase del modelado¶
Para este caso utilizaremos varias jupyternotebooks debido a que cada una consume muchos recursos y al utilizar un computador personal estos son muy limitados por lo cual solo utilizar un jupyternotebook para todo seria una gran carga para un computador personal.
Cada modelo describe las siguientes fases:
- Selección de los parámetros
- Ejecución
- Descripción de los modelos obtenidos
Primer modelo Redes Neuronales¶
Enlace para el jupyternotebook de redes neuronales.
Segundo y tercer modelo arboles de decisión y random forest¶
Enlace para el jupyternotebook de arboles de decisión y random forest.
Cuarto modelo catboost¶
Enlace para el jupyternotebook de catboost.
Describir los resultados obtenidos con cada modelo¶
Redes neuronales¶
Se genera una red con las siguientes layer:
1 - 16 neuronas, función de activación: relu, drop-out: 0.3
2 - 8 neuronas, función de activación: tanh, drop-out: 0.2
3 - salida 1 neuronas, función de activación: sigmoid
Los functión loss: categorical_hinge Optimizador: Adamax
Este fue el mejor modelo para las redes neuronales dando los siguientes resultados:
- Training Accuracy: 0.91639490068188556
- Testing Accuracy: 0.69785360464632473
Arboles de decisión¶
En el caso de desicion tree el mejor accuracy usando la técnica cross-validation es 0.74 con los hyper-parametros
max_depth = 7
min_sample_leaf = 10
Accuracy = 0.74
Random Forest¶
En el caso del Random Forest el mejor accuracy segun cross-validation es 0.7540 con los hyper-parametros
n_estimator = 1200
max_depth = 17
min_samples_split = 20
min_samples_leaf = 5
Accuracy = 0.7540
Catboost¶
En el caso del Catboost el mejor accuracy en general es del primer modelo, presentando el mejor overfitting, entre la diferencia entre el accuracy del training y testing siendo un 50% y 49% respectivamente
Características del primer modelo
- iterations=3000,
- learning_rate=0.03,
- l2_leaf_reg=3,
- bagging_temperature=1,
- random_strength=1,
- one_hot_max_size=2,
- loss_function='MultiClass',
- leaf_estimation_method='Newton'
Seleccionar el mejor modelo¶
El mejor modelo obtenido y por el cual seleccionamos para realizar la predicción de cuentas incobrables es del Random Forest, con dichas características:
Random Forest¶
- n_estimator = 1200
- max_depth = 17
- min_samples_split = 20
- min_samples_leaf = 5
Accuracy = 0.7540
Por otra parte con la utilización de este modelo obtuvimos los primeros análisis de importancia de variables y esto nos dio mucha información importante para estudiar cuales variables nos estaban aportando la mayoria de la información y poder eliminar las variables que nos estaban agregando ruido al entrenamiento. Con este modelo logramos obtener los mejores resultados y hasta el momento el modelo escogido para presentar como resultados finales cumpliendo el objetivo de encontrar un modelo que presentara un accuracy mayor a un 70%.